我们解决产品生成任务。对于给定的产品描述,我们的目标是生成反映潜在用户信息需求的问题,这些需求要么缺少或不涵盖描述中的问题。此外,我们希望涵盖可能涵盖多种产品类型的各种用户信息需求。为此,我们首先展示了如何对任务进行微调的T5预训练的变压器编码器模型。然而,尽管与最先进的任务方法相比,T5产生的问题具有合理的质量(KPCNET),但许多此类问题仍然太笼统,导致了次优最佳的全球问题多样性。作为替代方案,我们提出了一种新颖的学习对多样化(LTD)微调方法,该方法可以丰富基础变压器模型所学的语言。我们的经验评估表明,使用我们的方法可显着提高基础变压器模型的全球多样性,同时尽可能多地保持其一代相关性。
translated by 谷歌翻译
时间图神经网络(时间GNN)已被广泛研究,在多个预测任务上达到了最新的结果。大多数先前作品采用的一种常见方法是应用一个层,该图层汇总了节点历史邻居的信息。朝着不同的研究方向迈进,在这项工作中,我们提出了TBDFS - 一种新颖的时间GNN架构。 TBDF应用一个层,该图层有效地将信息从时间路径聚集到图中的给定(目标)节点。对于每个给定的节点,将聚集分为两个阶段:(1)在该节点中结束的每个时间路径的单个表示,并且(2)所有路径表示都汇总为最终节点表示。总体而言,我们的目标不是在节点中添加新信息,而是从新角度观察相同的确切信息。这使我们的模型可以直接观察到面向路径的模式,而不是面向邻里的模式。与以前的作品中应用的流行呼吸优先搜索(BFS)遍历相比,这可以认为是时间图上的深度优先搜索(DFS)遍历。我们通过多个链接预测任务评估了TBDF,并显示出与最先进的基线相比的表现。据我们所知,我们是第一个应用Perimal-DFS神经网络的人。
translated by 谷歌翻译
Graph neural networks (GNNs) are the primary tool for processing graph-structured data. Unfortunately, the most commonly used GNNs, called Message Passing Neural Networks (MPNNs) suffer from several fundamental limitations. To overcome these limitations, recent works have adapted the idea of positional encodings to graph data. This paper draws inspiration from the recent success of Laplacian-based positional encoding and defines a novel family of positional encoding schemes for graphs. We accomplish this by generalizing the optimization problem that defines the Laplace embedding to more general dissimilarity functions rather than the 2-norm used in the original formulation. This family of positional encodings is then instantiated by considering p-norms. We discuss a method for calculating these positional encoding schemes, implement it in PyTorch and demonstrate how the resulting positional encoding captures different properties of the graph. Furthermore, we demonstrate that this novel family of positional encodings can improve the expressive power of MPNNs. Lastly, we present preliminary experimental results.
translated by 谷歌翻译
子图GNNS是最近表达的图形神经网络(GNN)的一类,它们将图形图形为子图的集合。到目前为止,可能的子图GNN体系结构的设计空间及其基本理论属性仍然在很大程度上尚未探索。在本文中,我们研究了子图方法的最突出形式,该方法采用了基于节点的子图选择策略,例如自我网络或节点标记和删除。我们解决了两个中心问题:(1)这些方法的表达能力的上限是什么? (2)在这些子图集上传递层的模棱两可的消息家族是什么?我们回答这些问题的第一步是一种新颖的对称分析,该分析表明,建模基于节点的子图集的对称性需要比以前的作品中所采用的对称组明显小。然后,该分析用于建立子图GNN和不变图网络(IGNS)之间的联系。我们通过首先通过3-WL来界定子图方法的表达能力,然后提出一个通用子图方法的一般家族,以将所有先前基于节点的子图GNN泛化。最后,我们设计了一个新颖的子图Gnn称为Sun,从理论上讲,该子gnn统一了以前的体系结构,同时在多个基准上提供了更好的经验性能。
translated by 谷歌翻译
在多任务学习(MTL)中,对联合模型进行了培训,可以同时对几个任务进行预测。联合培训降低了计算成本并提高数据效率;但是,由于这些不同任务的梯度可能需要冲突,因此训练MTL的联合模型通常比其相应的单任务对应人员产生的性能较低。减轻此问题的一种常见方法是使用特定的启发式方法将每个任务梯度组合到联合更新方向上。在本文中,我们建议将梯度组合步骤视为一个议价游戏,在该游戏中,任务就达成了有关参数更新联合方向的协议。在某些假设下,议价问题具有独特的解决方案,称为NASH讨价还价解决方案,我们建议将其用作多任务学习的原则方法。我们描述了一种新的MTL优化程序NASH-MTL,并为其收敛性得出了理论保证。从经验上讲,我们表明NASH-MTL在各个域中的多个MTL基准上实现了最新的结果。
translated by 谷歌翻译
近年来,基于Weisfeiler-Leman算法的算法和神经架构,是一个众所周知的Graph同构问题的启发式问题,它成为具有图形和关系数据的机器学习的强大工具。在这里,我们全面概述了机器学习设置中的算法的使用,专注于监督的制度。我们讨论了理论背景,展示了如何将其用于监督的图形和节点表示学习,讨论最近的扩展,并概述算法的连接(置换 - )方面的神经结构。此外,我们概述了当前的应用和未来方向,以刺激进一步的研究。
translated by 谷歌翻译
通过仿真,我们发现并证明了凌乱的谐波多边形的好奇新的欧几里德特性和不变性。
translated by 谷歌翻译
消息传递神经网络(MPNNS)是由于其简单性和可扩展性而大部分地进行图形结构数据的深度学习的领先架构。不幸的是,有人认为这些架构的表现力有限。本文提出了一种名为Comifariant Subgraph聚合网络(ESAN)的新颖框架来解决这个问题。我们的主要观察是,虽然两个图可能无法通过MPNN可区分,但它们通常包含可区分的子图。因此,我们建议将每个图形作为由某些预定义策略导出的一组子图,并使用合适的等分性架构来处理它。我们为图同构同构同构造的1立维Weisfeiler-Leman(1-WL)测试的新型变体,并在这些新的WL变体方面证明了ESAN的表达性下限。我们进一步证明,我们的方法增加了MPNNS和更具表现力的架构的表现力。此外,我们提供了理论结果,描述了设计选择诸如子图选择政策和等效性神经结构的设计方式如何影响我们的架构的表现力。要处理增加的计算成本,我们提出了一种子图采样方案,可以将其视为我们框架的随机版本。关于真实和合成数据集的一套全面的实验表明,我们的框架提高了流行的GNN架构的表现力和整体性能。
translated by 谷歌翻译
可以训练生成模型,以从特定域中生成图像,仅由文本提示引导,而不看到任何图像?换句话说:可以将图像生成器“盲目地训练”吗?利用大规模对比语言图像预训练(CLIP)模型的语义力量,我们提出了一种文本驱动方法,允许将生成模型转移到新域,而无需收集单个图像。我们展示通过自然语言提示和几分钟的培训,我们的方法可以通过各种风格和形状的多种域调整发电机。值得注意的是,许多这些修改难以与现有方法达到困难或完全不可能。我们在广泛的域中进行了广泛的实验和比较。这些证明了我们方法的有效性,并表明我们的移动模型保持了对下游任务吸引的生成模型的潜在空间属性。
translated by 谷歌翻译